Recently, great progress has been made in single-image super-resolution (SISR) based on deep learning technology. However, the existing methods usually require a large computational cost. Meanwhile, the activation function will cause some features of the intermediate layer to be lost. Therefore, it is a challenge to make the model lightweight while reducing the impact of intermediate feature loss on the reconstruction quality. In this paper, we propose a Feature Interaction Weighted Hybrid Network (FIWHN) to alleviate the above problem. Specifically, FIWHN consists of a series of novel Wide-residual Distillation Interaction Blocks (WDIB) as the backbone, where every third WDIBs form a Feature shuffle Weighted Group (FSWG) by mutual information mixing and fusion. In addition, to mitigate the adverse effects of intermediate feature loss on the reconstruction results, we introduced a well-designed Wide Convolutional Residual Weighting (WCRW) and Wide Identical Residual Weighting (WIRW) units in WDIB, and effectively cross-fused features of different finenesses through a Wide-residual Distillation Connection (WRDC) framework and a Self-Calibrating Fusion (SCF) unit. Finally, to complement the global features lacking in the CNN model, we introduced the Transformer into our model and explored a new way of combining the CNN and Transformer. Extensive quantitative and qualitative experiments on low-level and high-level tasks show that our proposed FIWHN can achieve a good balance between performance and efficiency, and is more conducive to downstream tasks to solve problems in low-pixel scenarios.

本文介绍了对体现药物（Genea）挑战2022的非语言行为的生成和评估的重生条目。Genea挑战提供了处理后的数据集并进行众包评估，以比较不同手势生成系统的性能。在本文中，我们探讨了基于多模式表示学习的自动手势生成系统。我们将WAVLM功能用于音频，FastText功能，用于文本，位置和旋转矩阵功能用于手势。每个模态都投影到两个不同的子空间：模态不变和特定于模态。为了学习模式间不变的共同点并捕获特定于模态表示的字符，在训练过程中使用了基于梯度逆转层的对抗分类器和模态重建解码器。手势解码器使用与音频中的节奏相关的所有表示和功能生成适当的手势。我们的代码，预培训的模型和演示可在https://github.com/youngseng/represture上找到。

我们提出了一种新的表结构识别方法（TSR）方法，称为TSRFormer，以稳健地识别来自各种表图像的几何变形的复杂表的结构。与以前的方法不同，我们将表分离线预测作为线回归问题，而不是图像分割问题，并提出了一种新的两阶段基于基于DETR的分离器预测方法，称为\ textbf {sep} arator \ textbf {re} re} tr} ansformer（sepretr），直接预测与表图像的分离线。为了使两阶段的DETR框架有效地有效地在分离线预测任务上工作，我们提出了两个改进：1）一种先前增强的匹配策略，以解决慢速收敛问题的detr； 2）直接来自高分辨率卷积特征图的样本特征的新的交叉注意模块，以便以低计算成本实现高定位精度。在分离线预测之后，使用简单的基于关系网络的单元格合并模块来恢复跨越单元。借助这些新技术，我们的TSRFormer在包括SCITSR，PubTabnet和WTW在内的多个基准数据集上实现了最先进的性能。此外，我们已经验证了使用复杂的结构，无边界的单元，大空间，空的或跨越的单元格以及在更具挑战性的现实世界内部数据集中扭曲甚至弯曲的形状的桌子的鲁棒性。

一对一的匹配是DETR建立其端到端功能的关键设计，因此对象检测不需要手工制作的NMS（非最大抑制）方法来删除重复检测。这种端到端的签名对于DETR的多功能性很重要，并且已将其推广到广泛的视觉问题，包括实例/语义分割，人体姿势估计以及基于点云/多视图的检测，但是，我们注意到，由于分配为正样本的查询太少，因此一对一的匹配显着降低了阳性样品的训练效率。本文提出了一种基于混合匹配方案的简单而有效的方法，该方法将原始的一对一匹配分支与辅助查询结合在一起，这些查询在训练过程中使用一对一的匹配损失。该混合策略已被证明可显着提高训练效率并提高准确性。在推断中，仅使用原始的一对一匹配分支，从而维持端到端的优点和相同的DETR推断效率。该方法命名为$ \ MATHCAL {H} $ - DETR，它表明可以在各种视觉任务中始终如一地改进各种代表性的DITR方法，包括可变形，3DDER/PETRV2，PETR和TRANDRACK， ，其他。代码将在以下网址提供：https：//github.com/hdetr

我们介绍了一种名为RobustAbnet的新表检测和结构识别方法，以检测表的边界并从异质文档图像中重建每个表的细胞结构。为了进行表检测，我们建议将Cornernet用作新的区域建议网络来生成更高质量的表建议，以更快的R-CNN，这显着提高了更快的R-CNN的定位准确性以进行表检测。因此，我们的表检测方法仅使用轻巧的RESNET-18骨干网络，在三个公共表检测基准（即CTDAR TRACKA，PUBLAYNET和IIIT-AR-13K）上实现最新性能。此外，我们提出了一种新的基于分裂和合并的表结构识别方法，其中提出了一个新型的基于CNN的新空间CNN分离线预测模块将每个检测到的表分为单元格，并且基于网格CNN的CNN合并模块是应用用于恢复生成细胞。由于空间CNN模块可以有效地在整个表图像上传播上下文信息，因此我们的表结构识别器可以坚固地识别具有较大的空白空间和几何扭曲（甚至弯曲）表的表。得益于这两种技术，我们的表结构识别方法在包括SCITSR，PubTabnet和CTDAR TrackB2-Modern在内的三个公共基准上实现了最先进的性能。此外，我们进一步证明了我们方法在识别具有复杂结构，大空间以及几何扭曲甚至弯曲形状的表上的表格上的优势。

我们介绍了一个高分辨率变压器（HRFormer），其学习了密集预测任务的高分辨率表示，与产生低分辨率表示的原始视觉变压器，具有高存储器和计算成本。我们利用在高分辨率卷积网络（HRNET）中引入的多分辨率并行设计，以及本地窗口自我关注，用于通过小型非重叠图像窗口进行自我关注，以提高存储器和计算效率。此外，我们将卷积介绍到FFN中以在断开连接的图像窗口中交换信息。我们展示了高分辨率变压器对人类姿态估计和语义分割任务的有效性，例如，HRFormer在Coco姿势估算中以$ 50 \％$ 50 + 50美元和30 \％$更少的拖鞋。代码可用：https://github.com/hrnet/hRFormer。

The recent trend in multiple object tracking (MOT) is jointly solving detection and tracking, where object detection and appearance feature (or motion) are learned simultaneously. Despite competitive performance, in crowded scenes, joint detection and tracking usually fail to find accurate object associations due to missed or false detections. In this paper, we jointly model counting, detection and re-identification in an end-to-end framework, named CountingMOT, tailored for crowded scenes. By imposing mutual object-count constraints between detection and counting, the CountingMOT tries to find a balance between object detection and crowd density map estimation, which can help it to recover missed detections or reject false detections. Our approach is an attempt to bridge the gap of object detection, counting, and re-Identification. This is in contrast to prior MOT methods that either ignore the crowd density and thus are prone to failure in crowded scenes, or depend on local correlations to build a graphical relationship for matching targets. The proposed MOT tracker can perform online and real-time tracking, and achieves the state-of-the-art results on public benchmarks MOT16 (MOTA of 77.6), MOT17 (MOTA of 78.0%) and MOT20 (MOTA of 70.2%).

Learning with noisy labels is a vital topic for practical deep learning as models should be robust to noisy open-world datasets in the wild. The state-of-the-art noisy label learning approach JoCoR fails when faced with a large ratio of noisy labels. Moreover, selecting small-loss samples can also cause error accumulation as once the noisy samples are mistakenly selected as small-loss samples, they are more likely to be selected again. In this paper, we try to deal with error accumulation in noisy label learning from both model and data perspectives. We introduce mean point ensemble to utilize a more robust loss function and more information from unselected samples to reduce error accumulation from the model perspective. Furthermore, as the flip images have the same semantic meaning as the original images, we select small-loss samples according to the loss values of flip images instead of the original ones to reduce error accumulation from the data perspective. Extensive experiments on CIFAR-10, CIFAR-100, and large-scale Clothing1M show that our method outperforms state-of-the-art noisy label learning methods with different levels of label noise. Our method can also be seamlessly combined with other noisy label learning methods to further improve their performance and generalize well to other tasks. The code is available in https://github.com/zyh-uaiaaaa/MDA-noisy-label-learning.

我们解决了从一般标记（例如电影海报）估计对应关系到捕获这种标记的图像的问题。通常，通过拟合基于稀疏特征匹配的同型模型来解决此问题。但是，他们只能处理类似平面的标记，而稀疏功能不能充分利用外观信息。在本文中，我们提出了一个新颖的框架神经标记器，训练神经网络估计在各种具有挑战性的条件下（例如标记变形，严格的照明等）估算密集标记的对应关系。此外，我们还提出了一种新颖的标记通信评估方法，对真实标记的注释进行了注释。 - 图像对并创建一个新的基准测试。我们表明，神经标记的表现明显优于以前的方法，并实现了新的有趣应用程序，包括增强现实（AR）和视频编辑。

面部表达识别（FER）是一个具有挑战性的问题，因为表达成分始终与其他无关的因素（例如身份和头部姿势）纠缠在一起。在这项工作中，我们提出了一个身份，并构成了分离的面部表达识别（IPD-fer）模型，以了解更多的判别特征表示。我们认为整体面部表征是身份，姿势和表达的组合。这三个组件用不同的编码器编码。对于身份编码器，在培训期间使用和固定了一个经过良好训练的面部识别模型，这可以减轻对先前工作中对特定表达训练数据的限制，并使野外数据集的分离可行。同时，用相应的标签优化了姿势和表达编码器。结合身份和姿势特征，解码器应生成输入个体的中性面。添加表达功能时，应重建输入图像。通过比较同一个体的合成中性图像和表达图像之间的差异，表达成分与身份和姿势进一步分离。实验结果验证了我们方法对实验室控制和野外数据库的有效性，并实现了最新的识别性能。